Міністерство освіти і науки
Національний університет «Львівська політехніка»
Інститут комп’ютерних наук та інформаційних технологій
Кафедра автоматизованих систем управління
Розрахункова робота
з дисципліни: Алгоритмізація та програмування
Тема:
«Лексичний аналіз текстів»
Зміст
Вступ
Теоретичні відомості
Алгоритм розв’язування задачі
Опис програми
Таблиця змінних
Блок-схема
Код програми
Приклад реалізації
Висновок
Список використаних джерел
Вступ
Лексичний розбір — це процес перетворення послідовності символів в послідовність токенів (груп символів що відповідають певним шаблонам), та визначення їх типів. Програма, чи функція, що виконує лексичний аналіз, називається лексичним аналізатором, чи сканером. Часто сканер є звичайною функцією що використовується парсером (синтаксичним аналізатором), для отримання наступного токена з потоку вхідних символів в процесі компіляції. Також часто лексичний аналіз використовують для підсвітки синтаксису певних мов.
Теоретичні відомості
Позначка (лексема/токен) — це рядок літералів, впорядкованих відповідно до правил (наприклад, IDENTIFIER, NUMBER, COMMA). Процес утворення позначок з вихідного потоку називається видобуванням позначок (англ. tokenization) і розбирач впорядковує їх за відповідними типами. Лексичний розбирач зазвичай нічого не робить з об'єднаннями позначок, це завдання припадає на синтаксичний розбирач. Наприклад, типовий лексичний розбирач розпізнає дужки як позначки, але перевіряє відповідність '(' і ')' дужок.
Позначки часто визначаються за допомогою регулярних виразів, що зрозумілі генераторам лексичних розбирачів таким як lex. Лексичний розбирач (чи створений автоматично приладдям на кшталт lex або вручну) читає потік символів, визначає лексеми в потоці, і впорядковує їх як позначки. Це називається «видобуванням позначок». Якщо розбирач натрапляє на непридатну позначку, він звітує про помилку.
Наступним кроком іде синтаксичний розбір. Звідти, витрактовані дані можуть бути завантажені в структури даних для загального використання, інтерпретації, компіляції.
Алгоритм розв’язування задачі
У головній функції main задається ім’я файла, який буде опрацьовуватися;
Відкриваємо даний файл та робимо перевірку чи вдалося його відкрити;
Створюємо функції для:
Підрахування букв
Підрахування речень
Підрахування складів
Підрахування абзаців
Визначення популярності букви
Рейтинг популярності букв організовуємо в main;
Закриваємо файл.
Опис програми
Файл з кодом програми має назву “ЛексАналіз” із розширенням *.срр
Кількість рядків програми, включаючи коментарі та відступи між функціями, становить 123 рядки.
Складається із таких користувацьких функцій:
int Bukvy (int sym) – параметром функції є символ, який зчитується з файлу. Дана функція звіряє заданий символ з масивом розділових знаків (пробіл, крапка, кома і т. п.). Якщо умова виконалась, то функція повертає нуль, в інакшому випадку одиницю.
int KilkistRech (int sym) - параметром функції є символ, який зчитується з файлу. Дана функція перевіряє чи заданий символ не є крапкою. Якщо умова виконалась, то функція повертає одиницю, в інакшому випадку нуль.
int KilkistSklad (int sym) - параметром функції є символ, який зчитується з файлу. Ця функція перевіряє чи заданий символ не є голосною буквою. Якщо умова виконалась, то функція повертає одиницю, в інакшому випадку нуль.
int KilkisAbzaciv (char buf[]) – параметром функції є рядок, зчитаний з файла. Функція перевіряє чи заданий рядок є пустим. Якщо умова виконалась, то функція повертає одиницю, в інакшому випадку нуль.
void PopularBukv (int sym) - параметром функції є символ, який зчитується з файлу. Спершу дана функція перевіряє чи заданий символ є буквою. Якщо це буква, то функція збільшує на один відповідне число в масиві popul, згідно абетки.
У функції main відкривається файл із заданим ім’ям, ...
